多智能体接力思考框架
🧭 多智能体接力协作优化
Zhejiang University · Nanyang Technological University · The University of Hong Kong
提出置信度引导的多智能体接力协作框架 MACR，动态转移推理权，在保持精度下大幅降低 token 开销
📌 工作参考价值（4 点）
- 在电商 Agent 工作流中，可以将多步推理任务（如商品卖点提炼、广告文案生成、query 意图改写）从“多 Agent 并行讨论再聚合”改为“接力式串行 refinement”，每个节点基于置信度决定是否继续、由哪个专职 Agent 接手，能显著降低 token 消耗，适合高并发在线服务。
- 借鉴 MACR 的 bidding 机制：为不同能力 Agent 设置轻量置信度打分器，在推理阶段动态选择下一步执行者，而不是固定 pipeline，这能提升异构模型组合的鲁棒性。
- 置信度引导的 relay triggering 可用于推荐解释生成或搜索排序后文案生成：当当前生成结果置信度低于阈值时再触发下一轮精炼，避免无意义重写，节省 LLM 调用成本。
- 主要学术贡献在于多智能体拓扑结构与协作效率，业务迁移时需注意：置信度估计本身可能引入额外开销，建议在关键高价值链路（如广告创意生成）而非全链路铺开。
MolLean：化学推理的过程可验证语言
🧭 LLM 推理 · 可验证工具接口
National University of Singapore
MolLean 将化学 CoT 转为可执行状态转换，通过分层检查和 MCP 逐步验证减少幻觉并提升推理
📌 工作参考价值（4 点）
- 用可执行 trace 替代自由文本 CoT：在电商/广告场景中，可为商品属性生成、推荐理由、促销文案等定义领域约束（类目、价格、库存、合规规则），让 LLM 输出可检查的状态转换，而非仅靠 prompt 约束。
- 有状态工具接口与拒绝不变原则：类似 MolLean-MCP 的设计可迁移到 Agent 工具调用，工具校验失败时不修改状态，避免错误动作污染后续上下文，对搜索 query 改写、组合优惠计算等多步交互尤其有用。
- 全过程细化 + 分步验证反馈：先让模型生成完整 trace 再整体修正，适合离线批量生成；对实时要求高、状态约束严的任务，可引入逐步验证反馈，在反应类/多步推理任务中往往能获得额外提升。
- typed witness protocol 分离原生结构检查与外部测量：可借鉴为区分数据库已有事实与模型生成内容，防止模型把未经验证的属性当成事实写入推荐理由或广告文案。
学习在何处注入新用户轮次以重定向 LLM 推理自纠正
🧭 LLM 推理自纠正 · 干预位置学习
KAIST
UPTURN 用 130K 参数头学习失败推理的干预位置，以新用户轮次注入纠正指令，无需微调即提升数学推理准确率
📌 工作参考价值（4 点）
- 在对话式推荐/搜索 Agent 的 multi-step 推理或工具调用失败时，可训练轻量 MLP 头（冻结 encoder）从若干候选 step 中选一个「重试起点」，只保留前缀、重新生成后缀，避免整轮重跑；该头只以最终任务成功（如是否下单/点击）做弱监督，不需要过程标注。
- 干预时把纠错指令作为新的 user turn 注入，而不是拼在原生成文本里 inline 注入；在固定生成预算下，角色转换更容易改变模型后续生成分布，这对包含 system/assistant/user 轮次的搜索推荐多轮对话尤其适用。
- 该框架与现有 RL（如 GRPO）和 self-correction 正交，可在强化学习后的 policy 上叠加，作为推理时纠错模块，适合业务中不重训大模型、只加小模型控制干预时机的低风险上线方式。
- 但注意其训练信号只有 final-answer correctness，对没有明确二元成功信号的推荐场景（如点击/转化稀疏）需要重新设计 reward，迁移价值主要在「何时重试」的选择器+「新 user turn」重定向技巧。
快手 Explorer LLM-Rec 挑战赛 2026：推理式生成推荐
🧭 生成式推荐 · Semantic ID + LLM 推理 ★ 深度解读
Kuaishou
系统总结多任务推理生成推荐挑战赛，开源 OneReason 数据与评测，提炼推理监督、RL 与偏好优化的关键经验
📌 工作参考价值（4 点）
- 在生成式推荐中加入思考链（CoT）不一定提升效果，关键是控制推理轨迹质量。冠军方案发现，把命中目标 SID 的采样轨迹加入训练但 mask 掉答案 loss，只优化 reasoning 部分，可以降低 think 与 nothink 候选重叠，提升两者互补性；直接全量监督会伤害候选多样性。迁移到业务：做 reasoning 数据增强时，对 target 重复的轨迹要限制数量并控制答案监督强度。
- 不同域的推理收益不同，亚军方案采用混合格式：电商用 think，短视频/广告/直播用 nothink，效果优于全 think 或全 nothink。业务上多场景生成式推荐不必强求统一 SFT 格式，可按域验证推理格式的实际增益。
- 处理多任务 SFT 长度差异时，pack-level cross-entropy 有效：先在 pack 内按 token 平均，再跨 pack 等权平均，防止长 response 驱动训练。这对同时训练 item 理解、用户理解、推荐等任务尤其有参考价值。
- 层级 SID 的 RL 奖励稀疏问题可通过 prefix guidance + hierarchical credit assignment 缓解：仅在无正确前缀时补充前缀引导，advantages 计算只比较同一父前缀下的候选，mask 掉给定前缀的梯度，避免只学会浅层一级码，提升全 SID 命中率。
半事实信用增强策略优化
🧭 LLM 强化学习训练 · token 级信用分配
Zhejiang University · Westlake University · Shanghai Innovation Institute · Shanghai AI Laboratory
提出 SCAPO，将半事实稳定性融入 GRPO 的 token 级信用分配，提升数学推理与 OOD 泛化
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 微调 LLM（如以是否成交/点击作为 verifiable reward）时，GRPO 会把同一 outcome advantage 平均分给所有 token，容易强化 prompt 模板、位置等伪相关；可借鉴 SCAPO，用语义不变改写构造半事实干预，计算 token 概率漂移作为稳定性分数，在早期训练中对不稳定 token 降低 advantage。
- 论文发现解码时直接抑制高 drift token 候选，无需更新权重就能提升推理准确率；这可以迁移到 LLM 排序/召回/query 改写等生成任务，对 prompt 改写或模板扰动下概率漂移大的 token 做推理时惩罚或 mask，降低线上 prompt 敏感性。
- 稳定性分数被归一化后只用于削减不稳定 token 的 advantage，不给稳定 token 额外奖励，避免 reward hacking；实际调优时可沿用这一设计，把稳定性作为正则化/掩码信号而非正奖励。
- 主要实验在数学推理，业务迁移需自行验证；但对需要强泛化、且 reward 容易受 prompt 表面特征影响的 LLM Agent 训练，SCAPO 提供了一种轻量的 token 级 credit 修正思路。
更好的监督在邻近：邻域在线策略自蒸馏
🧭 LLM 推理训练 · 自蒸馏
The Chinese University of Hong Kong, Shenzhen · Meituan, LongCat Team · Peking University · University of Toronto
用局部参数扰动构建专家池并按状态路由，为在线自蒸馏提供更优监督，平均提升 1.67~2.75 点
📌 工作参考价值（4 点）
- 训练电商/Agent 场景下的 LLM 推理型任务（query 改写、推荐解释、工具调用规划）时，可借鉴 N-OPSD：保留多个邻近参数的冻结专家，按状态路由提供多样但参考对齐的监督，避免单一 teacher 覆盖不足。
- 离线专家池构建的贪心选择准则（filtered reference-token gains 超过池当前最佳）可作为通用监督选择指标：只保留能在不同前缀位置提供增量校正的专家，压缩池规模、降低训练成本。
- 路由时分离 anchor direction 与 support level（MaxPeak 选 token，quantile 选专家）值得借鉴到多策略/多专家生成式推荐：不要只选置信度最高（highest peak）的策略，而要选 top token 一致且分布支撑更稳的专家作为训练目标。
- 用 clipped forward-KL 从专家完整 next-token 分布学习，比只学 hard label 更平滑，适合生成式推荐中 Semantic ID 或多 token 决策序列的蒸馏；推理只部署学生，不增加线上成本。
让LLM说出它们所想：测量与改进思维链-可解释性对齐
🧭 LLM推理可解释性对齐与后训练
New York University · NYU Shanghai
提出CIA度量并后训练联合优化任务精度与参数忠实度，提升LLM思维链与内部计算一致性
📌 工作参考价值（4 点）
- 在电商/广告中若使用LLM生成推荐理由、商品对比或竞价策略解释，可借鉴CIA思路：用线性探针或干预实验验证模型声称的决策依据是否真的体现在内部表征中，避免“编理由”导致合规与信任风险。
- 将“解释与内部决策信号一致性”加入奖励函数（例如对内部探针判断关键token或特征重要性与CoT声称的一致性打分），与任务准确率联合优化，可能在不牺牲效果的情况下提升解释可信度。
- 建立CoT忠实度审计机制：定期对线上Agent/推荐解释链路抽样，用可解释性工具计算CIA分数，监控模型版本更新或数据漂移后推理行为是否失真，尤其适用于需要审计的广告排序和价格推荐场景。
- 注意落地成本：需要额外训练探针或标注内部策略，适合高风险、强监管或需向用户出具理由的场景；中小业务可先复用开源度量工具做离线评估。
ReSPO：重塑序列策略优化以应对离线策略学习梯度饥饿
🧭 RLVR 离线策略训练优化
Department of Computer Science, University of California, Los Angeles
提出 ReSPO，用平滑两分支序列级核替换裁剪，修正重要性权重尾部梯度饥饿，加速 RLVR 训练
📌 工作参考价值（4 点）
- 若在 RLVR 训练中复用 rollout 且使用 GRPO/GSPO 时，模型难以学到低频但高奖励的长轨迹（如多步 Agent 决策、长链推荐理由生成），可替换为 ReSPO 的平滑序列级核：正分支保留低重要性权重正样本的非零梯度，负分支抑制高权重负样本，避免梯度饥饿。
- 对 LLM 生成搜索 query、广告文案或推荐解释的强化学习微调，在 reward 稀疏、正样本稀缺场景下，ReSPO 正分支能加速早期优化，比传统 clipping 更友好。
- 工程实现上，ReSPO 核是序列重要性比 W=πθ(o|q)/πold(o|q) 的函数，可与现有 GRPO/GSPO 代码低耦合替换；只需缓存 old policy 的 rollout 来计算比率，复用现有离线数据流即可。
- 论文在 dense 和 MoE Qwen3 上验证有效，对工业级大规模模型与 MoE 架构有迁移参考价值，但需注意业务 reward 信号若噪声较大，仍需配合 variance-control tilt 稳定训练。
意外的成功，重复的失败：熵引导信用分配用于LLM推理探索
🧭 RLVR token级信用分配 · 熵引导探索
KAIST · DeepAuto.ai
提出EAPO，利用策略熵与response advantage符号不对称分配token级信用，强化高熵成功、惩罚低熵失败并保留失败中的探索机会
📌 工作参考价值（4 点）
- 在电商/导购Agent的RLVR微调中，可直接利用每步生成时的策略熵作为信用分配信号，无需额外reward model或人工标注；将成功轨迹中高熵决策（如“不确定时尝试新工具/新query”）给予更强正反馈，鼓励探索新策略。
- 对失败轨迹区分“确定性错误”与“探索性失败”：低熵token（模型很自信却错，如错误价格比较结论）施加更强惩罚，快速纠正重复错误；高熵token（模型尝试不确定路径，如生成长尾query）减轻惩罚，保留未来恢复可能性。
- 若在生成式推荐/搜索query改写上做RL，可借鉴EAPO的token-level advantage redistribute：用response-level奖励按熵加权到token，避免对整条失败样本均匀惩罚，有助于维持候选多样性。
- 工程实现上，EAPO只用现有rollout信号（entropy/advantage），可轻量嵌入PPO/GRPO等在线RL流程；适合稀疏reward场景（如用户最终购买/点击），提升覆盖与多样性。
Cliff：从首个错误中学习过程奖励
🧭 LLM 强化学习 · 过程奖励塑形 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
提出 Cliff 奖励塑形，利用 LLM 教师定位学生 rollout 中第一个错误，将正确前缀与错误后缀赋予不同优势，平均比 GRPO 提升 7%
📌 工作参考价值（4 点）
- 在 Agent 多步决策或搜索推荐的多轮交互中，可以用 teacher LLM 定位用户不满意或决策错误的起始步骤，只对错误后缀给负反馈，正确前缀保持中性/轻微正反馈，这比全轨迹统一奖励更细粒度且易于实现。
- 引入“首个错误”信号可避免训练需要精确步级奖励，降低标注成本；实测中等能力 LLM 即可胜任判断任务，且判断比生成更 robust，可借鉴用于电商场景中由中等规模模型判断对话/推荐轨迹质量。
- λ=0 的关键设计：对正确前缀不要给额外正奖励，只将负奖励集中在错误后缀，能防止模型为了延长正确前缀而长度 hacking。在推荐/文案生成中同样可防止模型输出冗余内容。
- 当 teacher 自己的参考解不可靠时，可先用可验证结果（如成交、点击）过滤 teacher 参考，只有 teacher 正确时才使用过程监督，否则回退到原始 outcome reward，这一策略可迁移到有业务指标的推荐系统中。
TGR：从生成式排序迈向统一生成与推理的工业推荐系统
🧭 生成式推荐 · 统一生成与推理 ★ 深度解读
Tencent PCG
提出并部署覆盖生成式排序、端到端生成和推理增强的工业级生成推荐框架TGR，在腾讯多场景取得显著线上收益
📌 工作参考价值（4 点）
- CCFormer 的特征场分离交叉注意力 + 层次序列压缩：精排模型可借鉴，避免全量 self-attention，用定向注意力流（user→seq、target→seq、target→user）处理异构特征交互，用子空间 token mixing 处理长行为序列，再通过跨层卷积压缩保持长程依赖，训练快 2.21 倍且 GFLOPs 减半，可直接替换现有 DLRM。
- BARGE 的层次路径重排序：在生成式召回（语义 ID 逐 token 解码）中，对 beam search 的候选路径做全局语义一致性重排，而不是只看累计 log-prob，能显著减轻前缀错误传播，两个工业场景 Hit@5 提升 10–17%。
- HiGR 的整页生成：把推荐列表作为一个结构化对象生成，用 coarse-to-fine decoder 分离全局 slate 规划与局部 item 生成，再用 ORPO 直接优化列表级多目标（ranking fidelity、用户兴趣、多样性），推理快 5 倍、P99 <50ms，适合信息流/广告位布局优化。
- TGR-Reason 的离线推理摊销：用 LatentRec 训练 Think 模型离线生成语义 ID 级别的 reason token，在线只作为条件注入生成器，零请求路径推理开销，冷启动新用户 Hit@1 提升 477.8%，可直接用于电商冷启动、长尾商品推荐。
On-Policy 蒸馏真的在蒸馏吗？从噪声教师到自改进
🧭 LLM 强化学习 · 零外部监督自改进 ★ 深度解读
Purdue University
揭示 OPD 增益主要来自抑制低概率 token 而非教师蒸馏；提出零外部监督的熵自适应负优势法 OPSA，AIME24 Avg@32 提升 263%
📌 工作参考价值（4 点）
- 在做 agent/LLM 策略后训练时，如果已使用 OPD/蒸馏提供 token 级信号，可先做噪声审计：统计 teacher 优势方向与最终 reward 不一致的比例；若噪声高，可直接对低 logp token 施加固定或熵自适应负优势，省掉 teacher forward 和 reward model，降低 off-policy mismatch。
- 对商品文案生成、query 改写等需要保持多样性的生成任务，可借鉴 OPSA 的 token 选择：只更新每个 rollout 中最低 20% log-prob tokens，避免高置信 token 的无效更新；同时在高熵位置施加更强负优势，抑制低概率 tail，保留 head 间概率重分配，防止 pass@k/多样性崩溃。
- 多轮购物导购、自动客服等需要长程推理和自我修正的 agent，可把 OPSA 作为廉价的 reasoning post-training 插件：不依赖外部 reward/hint，让模型在无标注下延长反思轨迹、提升最终答案质量；但要注意它主要重分配已有概率质量，初始策略过强或分布过尖时收益可能有限。
- 工程上可直接用 slime/Megatron 实现；无 teacher 额外 forward，训练吞吐优于 OPD，适合资源受限团队。
组自适应裁剪策略优化（GAPO）
🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读
University of Toronto · Amazon
将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号
📌 工作参考价值（4 点）
- 在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
- 注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
- 当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
- 若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。
理解 LLM 推理中的进化策略：比 GRPO 更广的推理覆盖
🧭 LLM 推理后训练 · 进化策略 ★ 深度解读
Southern University of Science and Technology · National University of Singapore · Huawei Noah's Ark Lab · City University of Hong Kong · Harbin Institute of Technology, Weihai
系统分析 ES 与 GRPO 的推理后训练行为，发现 ES 保持更广推理覆盖、提升 Pass@K，大参数漂移不必然导致灾难性遗忘
📌 工作参考价值（4 点）
- 作为显存受限或长轨迹 Agent 微调的备选方案：ES 无需 backprop，只做前向 rollout，适合电商 Agent 长对话、多步工具调用。实现时务必对 population rewards 做 z-score 归一化，并使用 one-point estimator（两 point 在 regenerated reasoning rewards 上无增益），可节省一半前向成本。
- 若业务目标需要候选多样性（搜索推荐中的 query 建议、生成式推荐的多个 item 候选、push 文案多版本），考虑 ES 或 ES→GRPO 顺序训练：ES 保持探索，避免 entropy collapse，提升 Pass@K/覆盖率；再用 GRPO 强化单点准确率。已证明顺序混合可在 Pass@1 和 Pass@K 之间扩展 Pareto 前沿。
- 超参数 scaling：大模型（1.5B/3B）ES 用 N=16 即可接近 N=64 的效果，0.5B 需 N=32，说明模型越大所需扰动方向越少。业务上可先用小规模扫描 population size，以降低评估成本。
- 参数 drift 大不等于遗忘：ES 更新幅度远大于 GRPO（40 倍以上），但 held-out 性能保持甚至更好，主要更新集中在 LayerNorm 和 attention。持续学习场景下，可监控 held-out 任务，不必过度担心 drift。
MOTIF：动机引导的冷启动多模态推荐拓扑推断
🧭 冷启动多模态推荐 · LLM 语义拓扑重建 ★ 深度解读
Taiyuan University of Technology · Sydney Smart Technology College, Northeastern University, China
用离线 LLM 推理用户与商品动机，重建 item-item 图并做加权对比学习，显著提升冷启动多模态推荐
📌 工作参考价值（4 点）
- LLM 语义只做图重建，不做在线预测输入：业务中可以把 LLM 对商品/内容的功能、场景、人群、替换/互补关系推理离线缓存，转成 item-item 图边权或关系特征，避免 LLM embedding 与协同过滤 embedding 空间不一致带来的噪声，同时不增加在线推理延迟。
- 冷启动用户动机从训练可见历史生成：电商推荐中可用用户短期点击/购买商品的标题、图片、属性离线总结用户动机（如户外训练、礼品购买、家庭活动），作为召回或排序的辅助特征，不泄露测试集。
- 只扰动最后一层表示 + SE 门控的图对比学习：对于不确定性较高的重建边，相比全图扰动更高效、更鲁棒；可迁移到 GNN 召回、商品关系图学习，用 feature-wise gate 自动抑制噪声维度。
- 语义-结构对齐作为辅助损失而非直接拼接：将 LLM 语义向量投影到与图嵌入共享空间做对比对齐，最终主任务只用图嵌入，可解决多模态/文本特征与协同信号不对齐的问题，适合电商冷启动 or 新内容分发。
如何稳定且高效地训练 Critic
🧭 LLM RL 的 Critic 稳定训练 ★ 深度解读
National University of Singapore · Tencent Hunyuan
BPCO 通过值域约束、MC 目标、去标准化等配方稳定单 rollout critic，性能匹配或超过 group 基线
📌 工作参考价值（4 点）
- 若在电商/广告场景用 RL 微调 LLM 生成推荐文案、搜索 query 或导购对话策略，可改用单 rollout critic 替代 GRPO 多采样，节省采样成本；并采用 BPCO 的 bounded value head（arctan 映射到 reward 范围）和 MC value target（λ_V=1），这是稳定性最核心的两项改动。
- 当 reward 由规则、评分 rubric 或成交标签产生时，让训练期 critic 额外接收这些 reward-defining 信息（如真实成交额、评分细则），policy 仅使用用户上下文和生成前缀。这样线上推理不增加任何输入，但 critic 拟合更快；小数据量时需注意过拟合。
- 直接移除 advantage batch normalization，使用 raw GAE advantage 更新 policy；实现成本极低，能避免策略收敛后更新不衰减、噪声被放大导致过拟合。
- 若生成序列长度差异大（比如长推荐理由 vs 短 query 改写），将 policy 端 GAE 改为 length-adaptive λπ(L)=1-1/(αL)，α 取 0.4 左右；critic 端保持 λ_V=1 做无偏回归，可稳定长序列上的 credit assignment。
Think-to-Personalize：统一推理与检索的用户中心个性化密集检索
🧭 LLM 推理驱动的个性化查询改写与密集检索 ★ 深度解读
University of Science and Technology of China · Meituan
提出 TTP 框架，用 LLM 显式推理用户历史生成意图增强查询，并与密集检索端到端联合训练，线上订单量提升 0.46%
📌 工作参考价值（4 点）
- 端到端联合优于解耦流水线：把 LLM 生成的 intent-enhanced query 与共享检索编码器联合训练，比独立 rewrite-then-retrieve（Decoupled-Stage）在 General 上 Recall@20 高 1.63 个点，Broad 上高 3.66 个点；电商搜索/召回链路若已有 LLM 改写模块，可尝试将其嵌入检索塔共同优化。
- 意图增强数据构造可复用：用大模型按偏好抽取、意图消歧、查询纠正三类进行改写，生成 5 候选，再用 reranker 按 ground-truth 成交商品过滤并采样 top3，同时保留不改写样本防止过度个性化；这套流程可直接迁移到搜索 query 改写、搜索建议或 push 文案生成。
- RL 对齐的两个关键 trick：GRPO 中用冻结 SFT 模型计算检索奖励，避免 reward hacking（unfrozen reward model 导致平均 R@20 从 44.97 暴跌到 29.53）；奖励用 ΔS_pos + ΔS_margin 两项，并动态选择奖励最大的 rollout 作为对比正样本，显著稳定训练。
- 在线效率方案：head query 走离线个性化 cache（覆盖 10.59% QV），miss 用蒸馏 305M 双塔实时服务，蒸馏时加入 <q_r, p+> 和 <q, q_r> 目标，保留大部分效果（平均 R@20 43.10 vs 教师 44.97），端到端延迟仅增 0.15ms，适合大规模部署。
RoE-FND：融合经验学习增强LLM的通用证据型假新闻检测
🧭 LLM 推理增强 · 经验检索
Fudan University · Hohai University
构建可复用推理经验库并通过检索经验裁决对立论证，提升LLM假新闻检测与跨域泛化能力
📌 工作参考价值（4 点）
- 经验库构建方法：在电商内容审核（如虚假评论、商品描述真实性）中，可让 LLM 同时生成无约束判断与给定真实标签后的条件判断，将两者分歧提炼为可复用的审核规则/经验条目，沉淀成行业/品类专属经验库。
- 双论证对抗裁决：对高风险 case，不要单次 LLM 判断，而是给出两个相反伪标签分别生成论证，再检索类似历史经验对关键分歧点做裁决；可迁移到客服纠纷判责、商家资质审核等需要证据链推理的业务。
- 无需微调的跨域迁移：适合电商多品类、多平台快速冷启动，避免频繁训练模型；只需维护经验库与检索器，即可在新类目复用推理能力。
- 与现有 RAG 结合：把经验库当作比事实片段更高阶的"推理模式索引"，修正 LLM 易被表面说服的倾向，可增强 Agent 在复杂决策中的鲁棒性。
错误但有用：多智能体消息的轨迹价值超越答案正确性
🧭 多智能体轨迹价值评估与消息筛选
Argonne National Laboratory · University of Houston · Brookhaven National Laboratory · University of Chicago
提出 DHD 重放协议，证明错误答案消息在多智能体推理中仍可能帮助后续集成，且可重复测量轨迹价值
📌 工作参考价值（4 点）
- 在推荐/搜索的 Agent 工作流中，不要仅用最终答案正确性或 auto-scorer 过滤中间候选消息（如商品理由、query 改写、约束提取）。可复用 DHD 的“缓存+重放”方法，离线评估每条消息对最终决策的因果贡献（trajectory value），筛选出“错误但有用”的消息用于训练或在线保留。
- 构建多 Agent 集成器时，可对同一组候选消息重复运行 integrator，统计每个消息出现/隐藏对最终结果的影响，识别可重复的 help/harm 消息；此类标签可用于训练一个轻量级 selector/滤波器，判断哪些中间输出值得传给下游。
- 工程实现上，DHD 缓存多个独立生成消息并重放，成本可控；可在业务中先对少量 query/问题做离线 replay，得到消息级轨迹价值标注，再逐步替换基于 confidence/agreement 的过滤规则。
- 注意完整消息（含推理过程）往往比仅保留答案更有效，因此中间消息的 reasoning trace 不应过早丢弃；在商品解释、推荐理由生成等场景中保留结构化推理片段可能提升最终聚合质量。
更多正确质量，更差答案：Power Sampling 为何失败及修复
🧭 Power Sampling 推理时采样修正 ★ 深度解读
State Key Laboratory of General Artificial Intelligence, Peking University
揭示 Power Sampling 提升正确轨迹概率却伤害自洽性聚合，提出 Relative-Rank SoftSat 与重要性加权修复
📌 工作参考价值（4 点）
- 在 LLM 多路生成投票、Agent 决策聚合或生成式推荐候选排序中，避免直接用模型全局概率/置信度做幂次加权（类似 p^α 或降低温度）。它可能放大单一高概率错误路径，压制多个中等概率正确路径的集体支持；改用 prompt 内相对排名（percentile）并对 top 项做饱和增益，可保留投票所需的中尾部多样性。
- 对不同 prompt/上下文做候选打分时，不要直接比较绝对 log-likelihood，否则同一阈值在不同问题上效果差异很大（dose mismatch）。先做 per-prompt 分位标准化再做 reweighting，能更稳定地控制分布变形强度。
- 固定推理预算下，可把从 sharpened 目标分布重复采样 N 次替换为从 Base 分布采样 N 条后用重要性权重聚合，文中在 MoreHopQA 上选择一致率达 99.55%，延迟降低 7.42 倍；适合线上 LLM 候选生成/投票，无需额外模型调用。
- 评估多候选推理或生成式推荐结果时，不要只看 pass@k 或 top-1 正确率，要监控 answer-level margin 和正确答案的覆盖结构；全局 sharpening 可能提升正确轨迹总质量但降低 gold-answer margin，导致最终聚合变差。
声明级可靠性评估：高效测试时推理
🧭 LLM测试时推理 · 声明级证伪
Sina Weibo Inc.
提出声明级证伪的测试时计算重分配框架CLR，用关键声明验证替代额外采样，提升推理准确率并节省37% token
📌 工作参考价值（4 点）
- 在Agent多步工具调用或推理链中，不要对整条trace打分，而是先抽取决策关键声明（decision-critical claims）进行定向验证，可避免常规token噪声稀释错误信号，提高错误步骤召回率。
- 利用“构造难、证伪易”不对称性：对候选答案做语义证伪而非整体重生成，通过查找单点致命矛盾淘汰错误候选，比多数投票更省token且更准；可应用于排序/召回中的多候选融合。
- 推理服务资源受限时，把额外算力从“多采样”转移到“验证器”：用轻量模型或规则对声明级证据做检查，工程上可获得类似本工作37% token节省，同时准确率提升。
- 设计非线性可靠性评分抑制高置信错误共识，而不是简单平均置信度；对电商搜索中的query改写、答案生成等场景，可提升最终输出聚合质量。
SPOT：在线策略蒸馏的稀疏探测与结果校准
🧭 在线策略蒸馏 · 稀疏探测与结果校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · East China Normal University · Beihang University · City University of Hong Kong
通过稀疏探测关键位置并利用下游结果校准蒸馏目标，在有限预算下提升推理模型多样解覆盖。
📌 工作参考价值（4 点）
- 稀疏探测+结果校准框架：在生成式推荐或对话Agent中，可在模型不确定性高且候选集紧凑的位置进行额外探索，利用下游业务指标（点击、转化）校准局部目标，替代全量教师监督。
- 位置重要性得分：使用公式 s_t = 归一化熵 × top-k概率质量 × 学生-教师gap 的连乘得分，作为触发多路采样的信号，可用于AIGC场景平衡生成质量与多样性。
- 指数倾斜校准：结果校准的封闭解（式10）提供了一种在保持KL约束下依奖励调整概率分布的方法，可应用于离线策略评估或A/B测试中的概率调整。
- 预算可控的工程化设计：探测位置数M、候选数k_p和每条候选续写数N_p均为显式超参数，便于在实践中根据延迟和成本进行权衡，仅对最有希望的候选展开额外推理。
懂得何时放弃：诊断并训练大模型中止无效推理
🧭 LLM推理能力对齐与无效推理抑制 ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Weixin AI, Tencent Inc
提出CaRL框架，通过能力校准奖励与事后拒绝增强，让LLM在超出能力时学会放弃而非生成看似正确的无效推理
📌 工作参考价值（4 点）
- Agent / 推荐决策中的安全拒绝机制：当 LLM 作为 Agent 处理复杂推荐或搜索任务（如组合优化、约束检查）超出能力时，可借鉴 CaRL 的三级奖励（正确+1，拒绝0，错误-1）训练模型选择拒绝而非生成看似合理但错误的方案，避免误导用户。
- 失败轨迹的样本增强：事后拒绝增强（HRA）将失败的推理轨迹自动转化为带解释的拒绝样本，解决了拒绝数据稀缺问题；在电商对话推荐或商品组合生成中，可将用户不满意的推荐路径转化为“当前无法满足”的回复，提升安全性。
- 降低推理计算浪费：CaRL 使模型在察觉不可能时尽早终止，推理长度减少约33%；在高吞吐的广告查询改写或搜索推荐场景，可大幅节省 token 成本同时控制无效输出。
- 仅靠奖励塑造不够，需要密集拒绝信号：实验表明，缺少 HRA 时单纯校准奖励无法让模型学会拒绝（RL<sub>unk</sub> 无效推理率仍 > 95%）；提示我们在为 LLM 加入拒识能力时，必须构造明确的拒绝演示参与训练。
思考即出行：基于LLM推理的生成式下一兴趣点推荐
🧭 生成式推荐 · 语义ID + 推理增强 ★ 深度解读
Dalian University of Technology · Wuhan University · A*STAR · South China University of Technology
统一SFT与RL推理，用时空不确定性校准优势估计，大幅提升LLM对语义ID的理解和跨域泛化
📌 工作参考价值（4 点）
- SFT与RL统一训练范式：在自回归生成中同时保留记忆和推理探索，避免LLM灾难性遗忘，可直接用于商品标题、推荐理由等的生成式推荐系统。
- 难度感知的优势估计：通过核密度估计用户行为时空分布，量化当前请求的认知不确定性，动态调整RL更新幅度——电商中可对冷门/长尾用户加大探索，对高频行为保持保守。
- 奖励重标定避免难度信号丢失：用样本奖励相对于组内最大值的缩放替代纯中心化，防止GRPO在易/难样本上产生相同的优势值，可迁移至推荐策略的在线强化学习调优。
- Token级熵作为探索奖励：防止推理token熵塌缩，维持策略多样性，在生成式排序或创意文案生成中有助于避免模式崩溃。
在失败处蒸馏：自适应教师引导恢复负RL组梯度信号
🧭 RL训练优化 · 在线蒸馏 · 梯度信号修复 ★ 深度解读
TJUNLP Lab, Tianjin University · Meituan Longcat Team
针对GRPO中全错样本的梯度消失，用教师置信度加权OPD并选择高价值token蒸馏，辅以正确轨迹SFT，修复学习信号。
📌 工作参考价值（4 点）
- 识别负零方差prompt并施加额外监督：在GRPO训练中，当一批采样全部错误（负零方差）时，梯度消失。可借鉴本文，仅在这类prompt上启用教师蒸馏或SFT，避免对所有数据盲目使用融合损失。
- 教师置信度加权蒸馏信号：在应用OPD时，用教师模型在该prompt上的平均成功率作为权重，缩放token级优势。对应到业务 Agent 训练，若用更大模型打分，可将其置信度作为信号强弱指示。
- 高价值token选择性蒸馏：仅对高学生熵或师生概率差异大的token进行蒸馏，减缓收敛到教师上限，保留RL探索空间。可迁移到推荐话术生成、搜索改写等任务，防止模型过早模仿强模型而丧失多样性。
- 辅以SFT注入正梯度：对负零方差prompt，额外用教师生成的正确答案做SFT，能缓解OPD的优势不对称问题。在实际应用中，对模型反复失败的困难样本，准备少量高质量示范轨迹能有效引导。
弱到强在线策略蒸馏：用更弱的模型提升强学生
🧭 弱到强蒸馏 · 在线策略蒸馏 ★ 深度解读
University of Maryland, College Park · Microsoft Research · MBZUAI
通过对比弱模型提取能力方向并锚定到学生基模型，构造代理教师实现弱到强蒸馏，使强学生超越弱教师
📌 工作参考价值（4 点）
- 弱教师也能提升强模型：当没有更强的教师可用时（如前沿推荐模型或Agent策略网络），用一对更小的模型（如不同规模的基模型或不同训练阶段的专家）通过logit差异提取“能力方向”，可以继续提升强模型。
- 代理教师构造方法：在在线策略蒸馏中，代理教师 = 学生基模型 + α*(正模型 − 负模型) logits。这种构造避免了分布不匹配，α控制信号强度与分布邻近度的权衡（图4：α≈1.0最优），可直接用于多领域推荐模型或Agent策略的合并。
- 低成本多专家合并：多个弱领域专家（如不同品类推荐模型）可通过各自与基础模型的对比方向求和，一次性蒸馏进同一个学生，无需顺序微调或担心灾难性遗忘（Eq.12）。
- 保留通用能力：锚定学生基模型作为参考分布，使代理教师保持与学生分布邻近，避免直接蒸馏弱教师导致的通用能力退化，这对需要保持广泛推荐能力的系统尤为重要。
在线策略增量蒸馏
🧭 LLM训练 · 推理蒸馏
NAVER AI Lab
用教师与其基模型输出的差异（delta信号）替代直接模仿，更高效传递推理能力增益
📌 工作参考价值（4 点）
- 在基于LLM的推荐或Agent模型中，可以将教师模型设置为经任务指令微调的强版本，基模型为原始预训练版本，蒸馏时拟合两者输出logits之差（delta信号），更聚焦于任务特定的推理模式迁移，避免直接模仿可能引入的冗余信息。
- 对于对话式推荐或多步推理Agent，delta信号能显式捕捉“推理策略增益”，训练更稳定，且论文表明仅需短暂后训练即可大幅提升性能，适合业务快速迭代。
- 若搜索推荐业务中使用强化学习（如RLHF）存在奖励设计困难或训练噪声大，可尝试OPD²替代，直接用token级监督，工程实现简单，无需单独的价值网络或偏好数据。
- 蒸馏过程中需要教师和基模型的双重前向计算，实际部署时可缓存基模型在训练数据上的输出分布，减少计算开销。
自引导测试时训练：提升长上下文LLM推理的简单方法
🧭 长文本测试时自适应训练
Meta AI · University of Virginia
模型自适应前先自选相关证据片段，只在选中的片段上做测试时训练，长上下文推理最高提升15%
📌 工作参考价值（4 点）
- 在长上下文任务（如长用户行为序列建模、长文档问答）中，可借鉴自引导TTT：对每条测试样本，先用模型识别出与当前query/任务最相关的证据片段，仅在这些片段上进行语言模型微调，以低计算成本实现实例自适应。
- 工程上，S-TTT的稀疏训练只更新少量token，适合在线延迟敏感场景，例如搜索query改写、个性化推荐理由生成时的实时自适应。
- 借鉴“自选择证据”思想，在构建Agent的记忆或RAG模块时，可设计一个轻量级证据选择器，从长上下文历史中检索关键信息，再对此进行微调或提示增强，有效过滤噪声。
- 该方法无需额外标注，利用模型自身输出作为监督信号，可在电商评论聚合、广告文案生成等长文本应用中以无监督方式提升证据利用率。
搜索，失败，恢复：面向纠错意识推理的训练框架
🧭 验证器引导的搜索与显式回溯训练 ★ 深度解读
Innopolis University · Lomonosov Moscow State University · AXXX
提出Pyligent，利用验证器标记失败分支并显式训练回溯，让小型LLM学会从延迟错误中恢复推理
📌 工作参考价值（4 点）
- 显式引入回溯动作与失败监督：在多步推理Agent（如对话式商品搜索、多轮筛选）中，可定义<backtrack>动作，利用业务规则作为验证器，将失败路径转化为监督信号，训练模型何时撤回错误分支。
- 逆课程学习策略：从接近完成的前缀开始探索，逐步向任务起点扩展，可降低早期训练难度，适用于需要多步试错的推荐对话或规划场景。
- 失败分支的简短摘要（trace）：回溯后注入失败原因摘要，帮助模型复用失败信息，避免重复错误，可在提示工程中用于记忆管理。
- 区分回溯质量指标：定义invalid/valid/correct/perfect回溯等级，评估模型是否回到正确的恢复点，这一评估方式可迁移到Agent策略评估中，衡量纠错精度而非仅看成功率。
UP：无界正优势非对称优化破解LLM强化学习的探索—稳定性困境
🧭 强化学习训练优化·无界探索 ★ 深度解读
ByteDance Seed · Michigan State University
通过stop-gradient自锚定比率取代重要性采样，对正向优势释放无界梯度以最大化探索，同时保留负向裁剪加固训练稳定性
📌 工作参考价值（4 点）
- 非对称正负处理：在业务RL训练（如对话策略、推荐排序）中，可对正确/正向动作去除裁剪，使用自锚定梯度释放探索；对错误动作保留裁剪约束，防止模型退化。
- stop-gradient 即插即用：将 π_θ / sg(π_θ) 作为无界更新核心，实现简单，可直接嵌入现有 PPO/GRPO 代码，无需改动 critic 或奖励函数。
- 探索容量监控：通过追踪策略熵和 KL 散度，诊断是否出现探索崩塌，借鉴 UP 的熵上升趋势判断训练是否健康。
- 通用性证明：该方法已验证对 Dense/MoE/多模态模型均有效，推荐系统或 Agent 中更换 backbone 时可放心复用，无需重新设计。
信任区域策略蒸馏
🧭 信任区域蒸馏训练范式
Hong Kong University of Science and Technology (Guangzhou) · Microsoft · Xingyun Zhili
动态构建近端教师将在线策略蒸馏转化为稳定训练，理论保证梯度方差控制且零额外开销
📌 工作参考价值（4 点）
- 推荐系统的强化学习训练（如对话推荐）可借鉴：用当前学生策略与目标教师策略的移动平均构造近端教师，替代固定教师监督，缓解梯度方差，提升训练稳定性，无需额外推理开销。
- 蒸馏时引入信任区域约束，避免学生一次性追随强教师导致的剧烈更新，相当于在策略空间上做平滑，可防止训练崩溃。
- 理论部分提供单调改进界，在电商/广告场景中对风险敏感的策略优化（如出价策略、排序策略）有直接指导意义，确保迭代更新不会损害累积收益。
- 零额外计算量的特点适合工业级大规模在线蒸馏，可参考其动态混合系数的简单实现，快速落地到现有 teacher-student 框架。
DemoPSD：基于分歧调制的策略自蒸馏
🧭 LLM自蒸馏与探索保持 ★ 深度解读
City University of Hong Kong · Tsinghua University · Shenzhen University of Advanced Technology · Chinese University of Hong Kong, Shenzhen
通过自适应混合教师与学生分布的反向KL重心目标，缓解特权信息泄露并保持探索能力
📌 工作参考价值（4 点）
- 自适应蒸馏强度：当教师模型（带特权信息）与学生模型（无特权信息）的 token 级分布出现较大分歧时，自动降低教师信号的权重（通过 α_t 控制），避免学生学到不可迁移的捷径。这一 trick 可直接迁移到搜索/推荐中的蒸馏场景，例如知识蒸馏精排模型时，若教师模型访问了后验特征（如点击后行为），可对分歧大的样本或位置减弱蒸馏力度。
- 保持策略熵防止坍缩：DemoPSD 训练过程中保持了比 SDPO 高 33-98% 的策略熵，从而保留了探索能力，提升 best@16 效果。在强化学习推荐或对话策略训练中，可以借鉴这种通过调整蒸馏目标来维持策略多样性、避免过早收敛到次优解的方法。
- 反向KL重心作为蒸馏目标：使用 π_target ∝ (π_teacher)^{1-α}·(π_student)^α 的几何混合替代直接匹配教师分布，比算术平均能产生更锐利且规避模式坍塌的训练信号。对于多任务推荐模型蒸馏，可以类似地对不同任务专家模型的 logits 做几何加权，兼顾多目标。
- EMA 参考模型稳定训练：计算分歧时使用学生模型的指数移动平均副本作为参考，避免训练不稳定。在在线学习或持续自蒸馏的推荐系统中，引入 EMA 教师可以平滑目标，减少噪声干扰。
不完整图谱证据下的LLM推理接地理论
🧭 LLM推理接地 · 不完整图谱证据
Tianjin Normal University · Harbin Institute of Technology
证明不完整图谱下硬约束无法同时保证拒假和保真，提出KL正则化软接地框架并给出稳定性边界
📌 工作参考价值（4 点）
- 电商知识图谱的软接地：商品关系图谱常不完备，应避免硬性剪枝。采用KL正则化软约束，保留未被观察但非矛盾的推理路径，防止丢弃正确的长尾关联。
- GraphRAG检索策略：在检索增强生成中，不必强制LLM完全忠实于检索到的子图。允许有限松弛可提高对缺失边的鲁棒性，避免因召回不足而拒真。
- Agent多跳推理的稳定性设计：当Agent基于动态图证据进行多步推理时，可利用稳定性边界评估证据扰动的影响，指导高频更新下的容错机制。
- 区分事实与声明：将图谱相容性视为“声明支持”而非事实真理，在广告文案生成或推荐解释中，可避免因信源不完整而误判正确输出。
从自身错误中学习：构建可学习的微反思轨迹用于自我蒸馏
🧭 LLM 自我蒸馏 · 轨迹增强
Qwen Business Unit of Alibaba · Tsinghua University · Peking University
通过修正模型自身的错误轨迹并插入自然语言诊断，将自我蒸馏从分布对齐升级为显式轨迹构造。
📌 工作参考价值（4 点）
- 电商/广告场景中若用 LLM 生成推荐理由或解释，可借鉴 TAPO 对比式轨迹构建：收集模型自身的正确与错误回复，在失败点插入反思诊断，形成新的微调样本，提升解释准确性与错误恢复能力。
- 对于搜索意图理解等推理链路长且容易出错的任务，可利用难度感知筛选，只在高能力边界的样本上构造反思轨迹，避免简单样本浪费训练资源，并保持 on-policy 分布。
- 解耦优势估计的技巧可迁移至多策略混合训练中，防止不同难度或不同来源轨迹间的梯度互相干扰，改善训练的稳定性。
- 工程实现上，TAPO 无需外部更强模型参与，完全依赖模型自身的采样群组，适合在闭环推荐系统中持续自我优化，降低人工标注与模型蒸馏成本。
ExpRL：探索性强化学习用于大语言模型中期训练
🧭 强化学习中期训练增强推理覆盖率
Stanford University · Carnegie Mellon University · OpenAI
ExpRL 利用人类解答作为奖励脚手架，通过稠密过程奖励在中期 RL 中提升推理覆盖率，优于 SFT 与稀疏奖励，为后续 RL 提供更好初始化
📌 工作参考价值（4 点）
- 用参考解答构建奖励脚手架，不暴露答案，让 LLM judge 对比过程给出稠密奖励，可自动化利用人工标注数据引导策略探索；在 Agent 多步决策（如多轮对话、搜索推荐解释）中，用少量理想路径作为参考，通过过程奖励强化有效推理链。
- 过程级奖励（ExpRL-Process）能对中间步骤反馈，适合长链路任务（如商品推荐中的多步推理），可设计类似 judge 机制对每一步给出信号，提升模型分解与自纠正能力。
- 中期训练作为 RL 预热：先用 ExpRL 在标注数据上提升覆盖率，再进行稀疏奖励 RL，可提高训练效率和最终性能；适用于推荐系统用用户反馈做 RL 微调前，先获得更好初始策略。
- 大量人工问答数据可不用于直接模仿，而作为奖励生成源，更充分利用数据；在电商客服、导购场景中，可收集人类对话构建奖励模型，训练更强的交互式 Agent。
探索代码解释器推理的外在令牌与内在认知特性
🧭 LLM推理 · 代码解释器行为分析
Vidyasirimedhi Institute of Science and Technology · Kasetsart University · SCB 10X · King Mongkut's University of Technology Thonburi · Chulalongkorn University
发现有效代码推理依赖关键令牌与验证、回溯等认知行为，并验证其对推理提升和训练增强的作用
📌 工作参考价值（2 点）
- 在电商Agent中若使用代码解释器进行数据查询或逻辑推理，可在推理时追加识别出的关键令牌（如结果验证、步骤回溯）以提升任务准确度。
- 训练推荐系统的LLM推理模块时，可注入代码思维中的自我验证、反向链推理等认知行为作为数据增强，帮助模型在复杂决策中减少过度思考，提高推理效率。
从聊天机器人到数字同事：持久自主AI的范式转移
🧭 Agent 演进：从对话到可持久自主工作 ★ 深度解读
Tencent Youtu Lab · Tsinghua University · Sun Yat-sen University · Central South University · University of Illinois at Chicago
提出“Workspace+Skill”机制，推动LLM从单次对话转向有状态、可复用的任务执行
📌 工作参考价值（4 点）
- 构建有状态的 Agent 工作区：参考 OpenClaw 的 Workspace 概念，为电商 Agent（如自动比价、库存管理）维护持久化的文件系统、终端、浏览器状态，避免每次调用都重新获取上下文。
- 用“技能（Skill）”封装可复用推理链：将常见业务流程（如订单处理、退款审核）建模为可参数化的 Skill，包含规划、工具序列、中间校验与错误恢复，提升任务闭环率。
- 评估范式从答案质量转向任务状态验证：对于推荐或运营 Agent，不应仅看最终回答的准确性，而应检查任务是否真正改变了系统状态（如是否完成了一次广告投放调整），用“任务闭环率”作为核心指标。
- 数据构造从指令-响应对转向状态-动作-观测轨迹：训练电商 Agent 时，记录完整的交互轨迹（用户意图 → 动作 → 环境反馈），以轨迹级 reward 进行强化学习，比单轮 SFT 更能培养长期规划能力。
LinTree：显式结构化搜索历史提升 LLM 推理
🧭 LLM 推理 · 搜索结构优化 ★ 深度解读
National University of Singapore · University of Oxford
为 LLM 推理的搜索痕迹添加父指针形成显式线性树结构，在 SFT+GRPO 下显著提升任务成功率和搜索效率
📌 工作参考价值（4 点）
- 在需要多步推理与回溯的 Agent 场景（如电商客服、多轮任务规划）中，显式记录搜索树节点之间的父子关系（即使只是简单的 sid 编号）能大幅降低模型对搜索历史的混淆，提升正解率与规划效率，可直接嵌入现有 CoT 或反思式 prompt 设计中。
- 对于生成式推荐或查询改写中涉及“尝试-评估-回退”的多步生成，可采用类似的 LinTree 格式将生成路径结构化，方便 RL 训练时准确追踪路径与提取最终方案，避免因隐式结构导致的高错误率。
- 工程实现上，仅需在搜索痕迹的文本表示中加入 sid=X 与父状态引用，改动极小；在 SFT 后接 GRPO 的训练范式已被验证有效，可复用其效率奖励函数（式 (1)）来平衡正确性与搜索开销。
- 若业务中存在基于 LLM 的启发式搜索（如用 LLM 为 A* 打分），可参考将 LLM 从局部状态评估转为全轨迹条件化推理的策略，利用显式树结构帮助模型更有效地探索状态空间，减少无谓的局部重访。
BASIS：单Rollout批内共享信息实现低方差优势估计的LLM推理后训练
🧭 RLVR · 批内优势估计削减方差 ★ 深度解读
University of Science and Technology of China · London School of Economics and Political Science · University of Oxford
利用跨提示的批内奖励加权平均，仅需单次采样即可获得比GRPO8次采样更准的价值估计，训练时间减半且性能接近多轮次基线。
📌 工作参考价值（4 点）
- 批内信息共享替代多采样：在电商推荐或Agent强化学习中，若每个请求只产生一条轨迹（如一次推荐列表），可以利用同一批次内其他请求的奖励，通过加权平均估计当前请求的基线价值，相当于用“横向”信息替代“纵向”重复采样，降低方差而不增加采样成本。
- 离线价值表+在线校准套路：先利用参考模型（例如上线前的模型）对每个提示采样少量结果，构建离线初始价值估计（如KL‑正则化最优价值），训练时再通过最小化误差在线选择一个温度参数β来校准，这种“离线预热+在线自适应”的模式可迁移至需要稳定价值估计的场景，比如生成式推荐的RL微调。
- 自适应权重避免极端噪声：当某些提示的预估价值接近0或1时，贝努利方差趋于0会导致权重爆炸，本文引入“活跃集”与回退到零基线的做法，可借鉴到其他基于二进制奖励（如点击/不点击）的批内加权方案中，防止数值不稳定。
- 防止策略坍塌的简单手段：实验表明，更准确的优势估计能避免单轨迹REINFORCE类算法在训练中后期性能急剧下降的问题，对于希望用单轨迹RL高效微调推荐策略的实践者，引入批内信息共享可能是一种低开销的防坍塌方案。
基于表格网格导航与渐进式推理提示的高效表格问答
🧭 表格问答提示工程
IIIT Allahabad · Karlsruhe Institute of Technology
提出两种无需训练的提示框架 TGN 和 PIP，结构化解耦表格导航与推理，并可蒸馏为小模型监督信号
📌 工作参考价值（4 点）
- TGN 的三模块循环 将表格推理分解为行导航、列导航、答案精炼，可复用于电商商品表格问答、客服对比查询等场景，提高定位准确率和可解释性。
- PIP 的显式列约束 先强制识别相关列再过滤行，适用于结构化查询生成（如 Text2SQL），在推荐理由生成或属性抽取中可减少幻觉、提高检索精度。
- 低资源监督蒸馏 将 TGN/PIP 推理过程作为 fine-tuning 模板，在资源有限时让小模型逼近大模型效果，适合电商中大规模表格处理的成本控制。
- 免训练快速迭代 无需微调即可通过提示工程提升现有 LLM 的表格推理能力，适合业务快速验证和上线。